Quân là thành viên của sĩ tộc họ Dương ở quận Hoằng Nông. Sĩ tộc họ Dương tự nhận là hậu duệ của Thúc Hướng (叔向) thuộc Dương Thiệt thị, nước Tấn thời Xuân Thu; người đầu tiên phát tích là Dương Sưởng (杨敞) – con rể của Tư Mã Thiên, làm đến thừa tướng thời Hán Chiêu đế. Cuối đời Đông Hán, cháu 4 đời của Sưởng là Dương Chấn làm đến Thái úy, con của Chấn là Bỉnh, con của Bỉnh là Tứ, con của Tứ là Bưu đều làm Thái úy, đương thời gọi là “tứ thế thái úy”.

Hoạn lộ của sĩ tộc họ Dương chịu ảnh hưởng nặng nề sau khi con của Bưu là Tu bị Tào Tháo giết chết; về sau một nhánh hậu duệ khác của Dương Chấn là anh em ngoại thích Dương Tuấn, Dương Diêu bị hoàng hậu Giả Nam Phong tru di tam tộc. Sau loạn Vĩnh Gia, người nổi bật nhất của họ Dương là Dương Thuyên Kỳ – cháu 5 đời của Dương Tu – bị Hoàn Huyền đánh bại, con cháu họ Dương phải lánh nạn. Đến khi Lưu Dụ lật đổ Hoàn Huyền, con em của Thuyên Kỳ mới dám quay trở về, nhưng không bao giờ có được vai trò quan trọng ở Nam triều.

Ở Bắc triều, người thành đạt nhất là Ung Châu thứ sử, Hoa Âm Tráng bá Dương Bá nhà Bắc Ngụy. Nhà sử học Đường Trường Nhụ không tìm thấy bằng chứng xác nhận hay phản bác nhánh họ Dương của Dương Bá có liên hệ với sĩ tộc họ Dương, đến ngày nay càng không thể phân biệt thật giả.

Bá là anh họ (tộc huynh) của Quân. Chắt của Quân là Dương Tố, danh tướng nhà Tùy, được xem là người nổi tiếng nhất của sĩ tộc họ Dương ở quận Hoằng Nông trong lịch sử Trung Quốc.